Castlereagh Street pernah memuat Australia Hotel, yang batu asasnya diletakkan oleh Sir Henry Parkes, dan Theatre Royal. Kedua-dua bangunan ini dirobohkan pada tahun 1970-an.

Laluan Circular Quay ke Stesen Central adalah bahagian penting dari Rangkaian trem Sydney. Ini adalah perkhidmatan yang sangat sibuk bagi penumpang yang bergerak dari kereta api pinggir bandar, terutama sebelum pembukaan landasan kereta api bawah tanah City Circle pada tahun 1926. Trem beroperasi dalam satu gelung dari stesen Central, yang bergerak ke utara di sepanjang Pitt Street ke Circular Quay yang kembali ke selatan melalui Castlereagh Street. Laluan ini juga digunakan oleh beberapa laluan timur dan selatan-barat pada waktu sibuk. Laluan ditutup pada 27 September 1957 dengan empat perkhidmatan trem diganti dengan bas dan tiga yang lain dialihkan untuk beroperasi melalui Elizabeth Street.[7][8] Jalur menggunakan landasan batu pasir ke tiang tiang di atas Eddy Avenue di stesen Central, yang sejak 1997 telah membentuk sebahagian dari Inner West Light Rail.

Sebelumnya beroperasi sebagai jalan sehala ke arah utara, pada Februari 1987 Jalan Castlereagh diubah untuk beroperasi di arah selatan.[9][10][11] Pada tahun 1997, lorong bas diperkenalkan antara Hunter Street dan Bathurst Street.[12]

Bangunan warisan penting yang terletak di Jalan Castlereagh merangkumi, dari utara ke selatan:

• The Trust Building – 72-72a Castlereagh Street, terletak di sudut King Street, dan dibina antara tahun 1914-16. Bangunan ini adalah contoh gaya seni bina Interwar Commercial Palazzo dan merupakan tapak bekas bangunan pejabat Daily Telegraph dan merupakan salah satu daripada empat pejabat surat khabar yang masih hidup yang dibina antara tahun 1900 hingga 1930. Bangunan ini tersenarai di Daftar Warisan Negeri NSW.[13]
• Balai Bomba Metropolitan – 211-217 Castlereagh Street, terletak di selatan persimpangan dengan Bathurst Street, dan dibina dari tahun 1887. Sebahagiannya direka oleh James Barnet, bangunan itu adalah contoh Klasik Bebas Victoria gaya seni bina dan telah digunakan secara berterusan sejak tahun 1888 sebagai stesen bomba oleh Bomba NSW. Bangunan ini tersenarai di Daftar Warisan Negeri NSW.[14][15]
• Downing Centre – 302 Castlereagh Street, terletak dengan seluruh blok bandar yang dibatasi oleh Castlereagh, Liverpool, Elizabeth dan Goulburn, dan dibina dari tahun 1908. Direka oleh [[Arthur Anderson (arkitek Arthur Anderson], bangunan ini adalah contoh gaya seni bina Interwar Stripped Classical dan merupakan tapak bekas Mark Foy's emporium. Bangunan ini tersenarai di Daftar Warisan Negeri NSW.[16]